Sau một thời gian ngắn thời đại học trong một nhóm hài ảo có tên 'Grunt', Considine và Shane Meadows đã thành lập ban nhạc She Talks To Angels (lấy cảm hứng từ bài hát cùng tên của Black Crowes) cùng với những người bạn Richard Eaton, Simon Hudson và Nick Hemming, trong đó Meadows là giọng ca chính, còn Considine là tay trống.[8] Sau đó, Considine rời ban nhạc, và những thành viên còn lại cải tổ ban nhạc rồi tự xưng là Oslo. Considine xuất hiện trên chương trình của Jools Holland trong lúc chuyển sang học nhiếp ảnh tại Đại học Brighton, nơi anh thành lập một nhóm mới, một ban nhạc Britpop có tên là Pedestrian.[14] Hiện tại, anh nằm trong ban nhạc rock Riding the Low, đã phát hành một EP mang tên 'They Will Rob You of Your Gifts' (2009),[8][25] và một album có tiêu đề 'What Happened to the Get To Know Ya? ' (2013).

Considine và Riding the Low đã có một bước đột phá lớn về âm nhạc vào năm 2014, sau khi Tim Burgess thuộc The Charlatans mời họ biểu diễn tại sự kiện Tim Peaks Diner do anh giám tuyển tại Festival No 6 ở Portmeirion, Wales. Considine đã liên hệ với Burgess sau khi đọc quyển Telling Stories của anh để bàn luận về thiền. "Cuộc trò chuyện được xúc tiến và Tim hào phóng đề nghị cho chúng tôi biểu diễn ở Portmeirion. Điều đó dẫn đến việc ban nhạc làm tiết mục mở đầu cho The Charlatans tại Học viện O2 ở Leicester năm nay. Tôi không sợ sân khấu. Chúng tôi đã sẵn sàng. Chúng tôi đã làm nên lịch sử của mình ngoài tầm ngắm ống kính camera. Chúng tôi đã tiến bộ. Chúng tôi đã tiến bộ hơn rất nhiều. Lúc đầu, chúng tôi vẫn còn non nớt - tất cả những gì chúng tôi có là sự kiêu ngạo. Chúng tôi còn một chặng đường dài phía trước và chúng tôi đã học được kỹ năng của mình ở tất cả những hợp đồng biểu diễn tại các quán rượu này. Chúng tôi không mong đợi sự nghiệp của mình nở rộ chỉ vì một diễn viên nằm trong ban nhạc." Considine bày tỏ.[14]

Năm 2016, ban nhạc phát hành album dài thứ hai mang tên Are Here to Help the Neighborhood, được thu âm tại Rockfield Studios và do Chris Slusarenko sản xuất. Considine viết lời trong khi ban nhạc thì viết nhạc.

Vào đầu năm 2018, Considine xác nhận rằng sự hợp tác được mong đợi bấy lâu nay với nghệ sĩ saxophone Andrew Teddy Brown của Wigan cuối cùng đã thành sự thật, trong đó thành quả này được ra mắt vào tháng 2 năm 2019 dưới dạng album chủ đề mang tên Limping Through Life - một câu chuyện về cuộc đấu tranh của một người đàn ông mắc bệnh gout giai đoạn cuối. Vào tháng 11 năm 2018, Considine và Brown đã xác nhận rằng đĩa đơn đầu tay của Limping Through Life sẽ có tên là Days Of Delirium - một bài hát về những đỉnh cao tột bật mà nhân vật trung tâm của album cảm nhận được sau khi dùng thuốc đặt để chống lại bệnh gout. Đĩa đơn có sự xuất hiện của Glen Hansard, Duncan James từ nhóm Blue và Mutya Buena (trước đây thuộc The Sugababes) với tư cách khách mời. Đĩa đơn phát hành trên Axe Wound Records [của Rotherham] ra mắt ở vị trí thứ 57 trên bảng xếp hạng The East Midlands Skiffle.